Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning
组校准在线策略蒸馏用于长上下文推理
🧭 知识蒸馏 · 长上下文推理
Tsinghua University · Beijing University of Posts and Telecommunications · OpenBMB
将 verifier 奖励与 OPD 分数做组内归一化并构造有符号残差，用相对优势分配回 token，提升长上下文蒸馏效果
📌 工作参考价值（3 点）
- 在业务中做 LLM 蒸馏或 RLVR 时，若同时有 dense token 监督和稀疏 verifier 奖励（如点击、转化、人工评分），可借鉴 group 内归一化再相减的方式，避免两种信号尺度差异和 sign 错位。
- RACA 的相对优势信用分配适合多步交互场景，例如购物 Agent 的多轮工具调用、对话式推荐的 multi-turn 轨迹，可将最终奖励按 token 优势权重回传，比均匀分配更稳定。
- 不丢弃 dense 教师似然、只做组校准残差微调的思路可复用到生成式推荐或 RAG 后训练：保留 Next Token 监督，同时注入结果导向的 verifier 信号。